Selepas pembunuhan J.W.W Birch, tentera British mahu menangkap Sultan Ismail kerana bersubahat membunuh J.W.W Birch, tetapi baginda melarikan diri daripada tentera British bersama pengikut-pengikut baginda dengan menaiki gajah dari Belanja menunju ke Kedah dengan menumbangkan pokok-pokok besar di jalan ke Belanja untuk melengah-lengahkan perjalanan tentera British untuk menangkap baginda. Dalam pertengahan bulan Januari 1876, Sultan Ismail yang telah masuk ke negeri Kedah bersama para pengikut baginda telah meminta perlindungan daripada Sultan Zainul Rashid II (Sultan Kedah). Sultan Kedah yang serba salah untuk melindungi orang yang diburu oleh pihak British telah pergi ke Pulau Pinang memberitahu perkara tersebut kepada Lt. Colonel Anson dan baginda telah dinasihatkan supaya membenarkan Sultan Ismail memasuki sempadan Kedah dan kemudian menyerahkan baginda kepadanya di Pulau Pinang. Pada 17 Mac 1876, Sultan Ismail telah dibawa ke Kuala Kedah dan seterusnya pada 20 Mac 1876 baginda bersama 18 orang pengikutnya dibawa ke Pulau Pinang untuk berjumpa dengan Lt. Colonel Anson. Perempuan dan kanak-kanak yang bersama-sama dalam rombongan Sultan Ismail serta 27 ekor gajah semuanya ditinggalkan di Kedah. Berkenaan dengan penyerahan Sultan Ismail dan pengikutnya itu, Lt. Colonel Anson sendiri telah menulis:

"Pada 23 Mac (1876), Raja Ismail telah dibawa ke pejabat saya di Pulau Pinang, dan beliau teah menyerahkan kepada saya segala Alat Kebesaran Kerajaan Negeri Perak. Saya dapati beliau seorang tua yang baik (gentleman) dan menyukakan hati. Saya sangat belas kasihan kepadanya. Oleh sebab Alat Kebesaran itu ada di tangan beliau, itu menunjukkan beliau telah jadi Sultan (Perak) yang sebenarnya...Adalah satu kesilapan besar melantik (Raja) Abdullah yang tak ada apa gunanya itu."

— Haji Buyong bin Adil (1981), Sejarah Perak, Dewan Bahasa & Pustaka (Kuala Lumpur, hlm. 141)

Sultan Ismail serta Alat Kebesaran Kerajaan Perak dan beberapa orang pengikut baginda dengan segera dihantarkan oleh Lt. Colonel Anson ke Singapura dengan kapal perang H.M.S. Ringdove. Ringdove telah sampai di Singapura pada 26 Mac 1876. Setelah semua Alat Kebesaran itu diserahkan kepada Gabenor William Jervois, pada 27 Mac 1876, baginda telah dihantar ke negeri Johor dan diserahkan di bawah jagaan Maharaja Johor (Maharaja Abu Bakar) sementara dijalankan penyiasatan mengenai hal ehwal negeri Perak itu. Suatu Suruhanjaya Penyiasat dari pihak British berhubung dengan Perang Perak telah ditubuhkan pada bulan Jun dan Julai 1876. Akhirnya, kerajaan British memutuskan bahawa Sultan Abdullah, Laksamana Muhammad Amin Dato' Syahbandar Uda Maamor, Orang Kaya Menteri Ngah Ibrahim dibuang ke Pulau Seychelles dan Sultan Ismail dibuang negeri ke Skudai, Johor.